O chocante bloqueio algorítmico do Youtube

No dia 30 de novembro de 2019, estávamos na cidade do Rio de Janeiro para a gravação de um episódio do Podcast Tecnopolítica, parte da programação do festival ColaborAmerica.[1] Foi a primeira vez que gravamos o Tecnopolítica em um auditório, com a participação de uma plateia composta por mais de cento e vinte pessoas que acompanharam e interagiram com o âncora do projeto, Sérgio Amadeu, e com a convidada Larissa Santiago, publicitária e uma das coordenadoras do Blogueiras Negras. O programa durou um pouco mais de 30 minutos.

O Blogueiras Negras escrito por “mulheres negras e afrodescendentes com histórias de vida e campos de interesse diversos; reunidas em torno das questões da negritude, do feminismo e da produção de conteúdo” é um dos principais espaços digitais de reflexão sobre o ativismo das mulheres negras.O bate-papo abordou como as tecnologias digitais, principalmente, os sistemas algorítmicos carregam elementos misóginos, patriarcais e racistas tão presentes na sociedade brasileira e o problema que o Brasil e o mundo enfrentam do chamado “falso positivo” ou da identificação errônea de pessoas pelos sistemas de inteligência artificial ligados às câmeras de vigilância.

Larissa Santiago apresentou alguns exemplos sobre como mulheres e homens negros são discriminados pelos sistemas algorítmicos e os impactos e os riscos disso para a perpetuação de preconceitos. Um dos exemplos mencionados foi a utilização de sistemas de reconhecimento facial no Brasil, especificamente, pelo estado da Bahia na Festa de Iemanjá e no Carnaval de 2019. Larissa, citando a autora e educadora Simone Browne, diz que: “A vigilância sempre foi usada para punir os corpos. Mas que corpos? Os corpos que já são historicamente oprimidos. Browne apresenta como exemplo de máxima vigilância o navio negreiro, como o panóptico do passado, o lugar da vigilância extrema. Todo aparato tecnológico baseado em uma sociedade racista será necessariamente racista. Todo aparato tecnológico para vigilância, vigiará os corpos que já são historicamente oprimidos”.

É possível fazermos uma análise ou até uma analogia entre essa afirmação feita por Larissa e o que ocorreu com o próprio episódio gravado com a publicitária ao tentarmos impulsioná-lo na plataforma Youtube.

O modelo de negócios criado pelas plataformas digitais está atrelado, principalmente, ao pagamento que usuários interessados em disponibilizar anúncios, propagandas e conteúdos em suas redes realizam. Desta forma, os espaços destinados aos que não “monetizam” conteúdos está cada vez limitado e reduzido a alcances e interações mínimas. Por isso, na maioria das vezes, promovemos os episódios do Tecnopolítica. Neste episódio de número 24, Gênero, direitos e Tecnologia ao promovermos o vídeo no Youtube fomos surpreendidos de que tal ação havia sido “reprovada” por conter “conteúdo chocante” (vide imagem abaixo):

Nas demais plataformas em que estamos presentes, como Facebook, Spotify e Deezer, não houve nenhum bloqueio em relação ao conteúdo ou ao seu impulsionamento.  Para o YouTube “conteúdo chocante” é aquele que contêm linguagem violenta, imagens macabras ou repulsivas, xingamentos, linguagem obscena ou profana, cenas que contenham fluidos sexuais, imagens ou relatos explícitos de trauma físico, dentre outras.

Buscamos também o que seria “conteúdo chocante” na FAQ (frequently asked questions ou em português perguntas mais frequentes) disponibilizada pela plataforma e encontramos uma explicação similar, porém com uma justificativa do que nortearia essa postura: “Nós valorizamos a diversidade e o respeito pelas pessoas. Também nos esforçamos para evitar ofender ou chocar os espectadores com anúncios, sites ou aplicativos inadequados para nossa rede de publicidade”.

Após lermos a política da plataforma referente ao “conteúdo chocante”, assistimos o episódio novamente para saber se nele havia alguma fala que pudesse “chocar ou assustar”, uma vez que o vídeo era centrado em imagens de Larissa Santiago e Sergio Amadeu e posteriormente de pessoas da plateia. Não havia nenhuma imagem chocante, exceto se a plataforma considerou as pessoas que apareceram no vídeo portadoras de algum aspecto repulsivo ou assustador. Mas, isso não faria sentido, não se sustentaria.

Não conseguimos identificar nenhuma palavra ou frase que pudesse ser definida como obscena, imoral, grosseira, indecente ou pervertida. A troca de ideias, ocorrida no episódio, fora respeitosa e algumas vezes resvalando para uma linguagem até mais acadêmica.

O que o Youtube considerou como “conteúdo chocante”? Essa é uma questão sem resposta, pois se a própria regra do Youtube fosse seguida, o conteúdo não teria sido classificado desta forma. 

A não aceitação do impulsionamento levou a baixíssima (100 views) visualização do episódio se comparado a média do canal (1650 views), ou seja, verificamos o quanto a não monetização deste episódio aliada ao modelo de negócio do Youtube e a forma como seus algoritmos distribuem os conteúdos ali inseridos estava impedindo que as pessoas tivessem acesso a este episódio do Tecnopolítica.  

Preenchemos um formulário fornecido pela plataforma e solicitamos a revisão do status para que ocorresse a liberação do impulsionamento. Todo este processo é feito online sem nenhum contato humano.  Não há nenhuma informação sobre os procedimentos de análise que o Youtube realiza e nem o tempo em que o impulsionamento ficará bloqueado[2].

Após alguns dias do envio do formulário, recebemos via e-mail uma resposta da plataforma de que havia ocorrido uma “revisão humana” e o nosso conteúdo havia sido liberado:

Tal resposta implica no mínimo em duas certezas: que o bloqueio do Youtube não foi feito por humanos, mas pelo sistema algorítmico da plataforma e que esse procedimento automatizado cometeu um equívoco do qual não saberemos qual foi. A plataforma provavelmente deve saber como esses erros ocorrem e de que forma são processados em seus códigos, mas os usuários não têm informação nenhuma sobre o tema. Isso reforça a imagem lançada por Frank Pasquale de que os algoritmos compõem verdadeiras “caixas pretas”, escudados e distantes daqueles que são por eles afetados.

Não sabemos se o sistema algorítmico considerou chocante o áudio ou alguma imagem da conversa. O Youtube não informa o que ocorreu. Trata-se de uma técnica de ofuscação do que foi detectado como procedimento falho ou equivocado (PASQUALE, 2015). Qual foi o erro cometido pelo algoritmo? Foi um equívoco resultante de um treinamento falseado ou desacertado do algoritmo? Quais frases foram consideradas chocantes? Ou será que algumas imagens foram confundidas com "cenas de violência e sangue como foco do vídeo"? Ou será que o Youtube não se importa quando isso ocorre e apenas realiza a autorização “manual” do conteúdo?

Esse caso pode parecer demasiadamente pequeno para gerar um debate socialmente relevante. Todavia, só aparenta ser pequeno se pensarmos nele em si, mas se pensarmos o que sistemas algorítmicos podem gerar, o que as decisões automatizadas baseadas em dados podem produzir, o que o viés algorítmico pode causar, as discriminações e exclusões que podem operar, certamente devemos nos preocupar bastante com o tipo de arranjos sociotécnicos com os quais estamos lidando. Por isso, optamos por avançarmos aqui nessa preocupação mais geral sobre os sistemas algorítmicos.

É PRECISO EXPLICAR E CONTROLAR DEMOCRATICAMENTE OS ALGORITMOS

Os algoritmos quase nunca agem sozinhos. Estão ligados a estruturas de dados e ao interagir com essas informações tomam decisões conforme regras ou padrões extraídos de dados previamente coletados. Algoritmos são rotinas logicamente encadeadas, não ambíguas, que compõem softwares, dispositivos autômatos, bem como os chamados sistemas de inteligência artificial, que incluem o aprendizado de máquina, o aprendizado profundo, entre outras subdivisões. Por isso, aqui chamaremos esse conjunto que reúne algoritmos, banco de dados, softwares e dispositivos informacionais de sistemas algorítmicos.

O pesquisador Tarleton Gillespie cunhou uma expressão muito útil para tratarmos dos sistemas algorítmicos. Declarou que existem algoritmos que possuem relevância pública, ou seja, seus efeitos podem afetar inúmeras pessoas ou definir de modo intenso como será a vida de uma pessoa (GILLESPIE, 2014).

Algoritmos que definem a pena de um réu da Justiça, que determinam se alguém está apto ou não para receber um direito social, que vigiam as ruas e locais públicos a procura de infratores, que afirmam quais currículos serão considerados e quais serão descartados para uma vaga de emprego, quem deve ter um empréstimo sem um acréscimo na taxa de risco, entre outros exemplos, deveriam ser considerados de relevância pública.

Algoritmos não são neutros. Além disso, algoritmos podem ser injustos e executar o preconceito que a sociedade carrega, visto que são desenvolvidos por seres humanos e utilizam registros armazenados em gigantescos bancos de dados. Os dados isoladamente são apenas dados, porém quando utilizados como fonte de treinamento de algoritmos de aprendizado de máquina para determinado fim podem resultar em processos discriminatórios. 

Os sistemas algorítmicos, principalmente os projetados como redes neurais, não são explicáveis. Outros algoritmos, menos complexos, não são interpretáveis a partir de sua leitura. Necessitam de testes e da inserção de dados para que se possa compreender o que podem realizar e como. Esses sistemas algorítmicos que afetam as nossas vidas têm carregado preconceitos e praticado discriminação de modo mais complexo do que nos casos que só envolvem pessoas. É comum o argumento de que práticas discriminatórias são efetuadas por humanos há muito tempo e que é mais fácil uma pessoa agir de modo intolerante, hostil e preconcebido do que um código. Entretanto, quando uma pessoa pratica o racismo isso é perceptível e a responsabilidade também é inequívoca. Quando um sistema de visualização operado por algoritmo toma uma decisão que prejudica negras e negros ou que os impede de acessar determinados direitos isso não é tão perceptível. O fato de não percebermos não significa que não exista. O que torna mais complexo ainda a nossa ação contra as operações algorítmicas de racismo, misoginia e de preconceitos em geral.

O fato é que algoritmos de relevância pública deveriam ser, no mínimo, auditados por organizações multissetoriais da sociedade civil idôneas e independentes, cuja função deveria ser proteger as sociedades dos seus equívocos e apontar correções fundamentais para evitar injustiças e erros.

A ideia de auditoria aparece no artigo "An Algorithm Audit", escrito pelos pesquisadores Christian Sandvig, Kevin Hamilton, Karrie Karahalios e Cedric Langbort. Nele, os autores são contundentes ao afirmar que “temos poucos motivos para acreditar que as empresas das quais dependemos agirão em nosso interesse na ausência de supervisão regulatória”[3] (SANDVIG, et al, 2014, 7). Precisamos de estruturas que sejam amplamente transparentes e mais controladas pela sociedade para fiscalizar as plataformas tecnológicas que exercem enorme influência e mediam nossas interações cotidianas (SILVEIRA, 2019, 88). 

Provavelmente não saberemos o que o algoritmo do Youtube detectou no episódio 24, Gênero, direitos e Tecnologia, do Podcast Tecnopolítica para considerá-lo “conteúdo chocante”. Terá sido um exemplo prático de racismo que o episódio denunciava? De preconceito? Foi um erro na interpretação de uma imagem? Uma análise automatizada tendenciosa e equivocada de um diálogo? Não teremos essas respostas, pois as plataformas não são transparentes, nem seus sistemas algorítmicos são explicáveis. Para que pudéssemos compreender exatamente o que ocorreu, o Youtube teria que abrir seus códigos e mostrar em qual momento o seu algoritmo detectou que o vídeo era inapropriado e que tipo de “padrão” está presente nele para resultar nessa interpretação. Infelizmente, isso não será feito pela plataforma, pois conforme mencionamos anteriormente, a obscuridade impera, na maioria, dos modelos de negócios que utilizam processos algorítmicos.

Isso demonstra o quanto estamos dependentes de operações algorítmicas que podem portar viés, falhas, preconceitos e discriminações. Algoritmos com relevância pública podem estar modulando o comportamento e formatando subjetividades de modo socialmente excludente, racista e patriarcalista. Por isso, trata-se de ação tecnopolítica democratizante iniciarmos o desenvolvimento de estruturas sociais de controle das corporações e do Estado quando utilizarem sistemas algorítmicos que possam discriminar e segregar ou interferir na formação da opinião pública. Nós, do podcast Tecnopolítica, buscamos contribuir nesta construção disseminando, por meio de nossos episódios, informações e conhecimento sobre as tecnologias, bem como informações e esclarecimentos destinados, principalmente, a sociedade civil organizada sobre as dinâmicas que as estruturas de poder econômico e político consolidam a partir das tecnologias.

REFERÊNCIAS

GILLESPIE, Tarleton. The relevance of algorithms. Media technologies: Essays on communication, materiality, and society, v. 167, p. 167, 2014.

PASQUALE, Frank. The black box society. Harvard University Press, 2015.

SANDVIG, Christian et al. An algorithm audit. In: Data and discrimination: collected essays. New York, NY: New America, Open Technology Institute, p. 6-10, 2014.

SILVEIRA, Sergio Amadeu. Democracy and invisible codes: How algorithms are modulating behaviors and political choices. Edições Sesc SP / Amazon.com Services LLC, 2019.